지금처럼 빠르게 변화하는 비즈니스 환경에서 지속적인 성장을 이루기 위해서는 경영진과 분석가, 현업 사용자 등 기업 구성원 모두가 필요한 인사이트를 제때 확보하고, 이를 기반으로 최상의 결정을 내리고, 필요한 조치를 취할 수 있어야 합니다. 누구나 쉽게 데이터를 들여다보고, 탐색하고, 이해하고, 분석할 수 있는 단일화되고 통합된 분석 환경이 필요한 이유입니다. 본 기고문에서는 시티즌 데이터 사이언티스트가 되기 위한 조건과 이를 지원하는 솔루션을 두 차례에 나눠 소개합니다.
경영진만이 의사결정을 하는 것은 아닙니다. 예를 들어, 특정 물품을 4개의 라인에서 생산하던 중, 갑자기 한 라인이 생산을 멈추거나 다른 물품을 생산해야 하는 일이 발생했을 때, 담당자는 빠르게 대응 방안을 세워 변화된 상황에 대처해야 합니다.
중단 원인은 물론, 라인당 생산량은 어느 정도였는지, 기존 4개 라인에서 생산하던 양을 3개 라인에서 생산할 수 있는지, 있다면 라인당 생산을 얼마나 늘여야 하는지, 납품 기일에 생산 일정을 조정할 수 있는지 등 수많은 분석 정보가 필요합니다.
이처럼 이슈가 발생했을 때, 사용자와 엔지니어는 빠르게 원인을 파악하고 해결 방안을 제시할 수 있어야 합니다. 현업 사용자 관점에서 쉽게 접근하여 활용할 수 있는 분석 솔루션이 필요한 이유입니다.
기존 데이터 분석의 어려움
기존의 데이터 분석은 어렵고 복잡하며, 그로 인해 특정 전문가만의 영역이었습니다. 일반적으로 분석가는 분석 요건을 작성하여 분석 작업을 수행하고, IT 팀은 데이터를 생성하고 변환하는 업무를 맡습니다. 데이터 수집에서 저장, 접근, 변환, 분석 등을 모두 IT 팀과 데이터 분석가가 하는 셈입니다. 경영진이나 현업 사용자는 자신에게 필요한 데이터 분석을 분석가와 IT 팀에게 요청할 수밖에 없는 구조입니다.
이 같은 분석 방식으로는 즉각적인 분석 정보가 필요한 현업 사용자의 요구를 충족시키기 어렵습니다. 요청한 분석 데이터를 받았을 때는 이미 상황이 종료됐거나, 어떤 방식이든 해결책을 찾은 후입니다. 이를 ‘IT 병목 현상’이라고 부르며, 분석의 오랜 문제입니다.
또한 기존 분석 방식은 엑셀의 데이터 복사 및 붙이기와 같은 수작업으로 인해 많은 시간이 걸리고, 담당자의 엑셀 작업 역량에 따라 분석 리포트의 결과 수준이 다르게 나타납니다. 엑셀의 분석 리포트를 공유하는 데도 한계가 있고, 문제점을 발견했을 때 추적 또한 쉽지 않습니다.
현업 사용자가 시티즌 데이터 사이언티스트(Citizen Data Scientist)가 되어 필요한 분석 업무를 간단히 수행할 수 있다면, 앞서 언급한 많은 문제를 해결할 수 있습니다. 물론 이를 위해서는 데이터 분석 프로세스 업무를 지원하는 통합 분석 플랫폼이 필요합니다.
데이터 분석 프로세스와 각 단계별 주요 업무
데이터 분석은 데이터 수집, 데이터 전처리, 변수 구성, 통계 분석, 리포트 활용 순으로 이루어집니다. 그리고 <그림 2>에서 보시는 것처럼 각 단계별로 수행해야 할 주요 업무가 있습니다.
- 데이터 수집
데이터 발생 유형에 따라 실시간, 일별, 주별, 월별과 같이 수집 주기를 정의하고, 발생 데이터에 대한 레이아웃을 정의합니다. 데이터 수집 방법도 정의하는데, 시스템별로 수집 방법을 정의합니다.
- 데이터 전처리
변수별 정상 데이터의 범위를 정의합니다. 이때 비정상 데이터의 제거 기준을 설정하고 변수별 필터링 및 특정 기간 제외 기준을 정의하며, 추이 통계 분석 항목을 정합니다.
- 변수 구성
분석에 활용할 주요 연관 변수와 파생 변수를 정의 및 구성하고, 상관관계 분석을 통한 목표 변수와 유관한 설명 변수를 도출합니다. 이 단계에서 분석 프로세스를 플로우 차트 형태로 구성하여 사용자 편의성을 높입니다.
- 통계 분석
표준 분석 프로세스와 사용자 커스터마이징 사용 영역을 정의합니다. 또한, 목표 변동에 대한 정량화 테이블 또는 관계식을 도출하고, 통계 분석을 위한 센서 데이터를 포함한 관계식을 산출합니다.
- 리포트 활용
데이터 특성을 고려하여 시스템에서 제안한 분석 리포트를 활용합니다. 템플릿의 표준 양식에 따라 화면 기능을 정의하고, 사용자별 리포트 양식과 구성을 분석 목적에 맞게 수정합니다.
데이터 사이언티스트는 데이터를 수집, 분석, 가공하고, 인사이트를 도출하여 신속하고 합리적인 의사결정을 돕는 전문가입니다. 분석 기술과 프로그래밍 스킬을 보유하고, 현업 지식도 겸비해야 하는 고도의 전문직입니다. 데이터 분석이 비즈니스에 필수 요소가 되면서 데이터 사이언티스트는 물론, 데이터 분석가도 턱없이 부족한 상황입니다.
이에 비해 시티즌 데이터 사이언티스트는 프로그래밍 기술이나 전문적인 분석 기술에는 능숙하지 않더라도 자동화된 분석 솔루션을 이용하여 분석 결과에서 인사이트를 도출하고, 자신이 원하는 문제 해결 및 새로운 서비스 개발, 업무 혁신을 이끌어 내는 현업 사용자를 의미합니다.
사실 시티즌 데이터 사이언티스트에 대한 의미나 요건, 역할 등은 명확히 정의되어 있지 않습니다. 다만 ‘현업 사용자’라는 점, ‘코딩이나 분석 기술에 능숙하지 않다’는 점, 그리고 ‘자동화된 솔루션을 이용한다’는 점을 특징으로 볼 수 있습니다. 현업 사용자의 부족한 프로그래밍 및 분석 기술을, 쉽게 사용할 수 있는 자동화된 분석 도구로 메움으로써 시티즌 데이터 사이언티스트로 발전하는 것입니다.
시티즌 데이터 사이언티스트의 조건
모든 것이 빠르게 혁신하는 디지털 트랜스포메이션 시대에 의사 결정권자는 더 이상 사무실 책상 위로 전달되는 전통적인 정적 보고서에 의지해서는 안 됩니다. 현업 사용자도 마찬가지입니다. 모든 시스템과 데이터가 서로 연결되어 있으므로 언제 어디서나 원하는 디바이스와 소프트웨어를 사용하여 필요한 때, 필요한 모든 정보를 얻을 수 있습니다.
이처럼 역동적인 환경을 최대한 활용하여 현업 사용자는 모든 유형의 데이터에 거의 즉각적으로 액세스하고 인사이트를 도출할 수 있어야 합니다. 단순한 현황 모니터링에 만족해서는 안 됩니다. 새로운 정보를 발견하고 새로운 질문에 답할 수 있어야 합니다. 대화식으로 인터랙티브하게 데이터를 준비하고, 탐색하고, 분석할 수 있어야 합니다.
이 같은 능력은 결코 혼자서는 이룰 수 없습니다. 통합 분석 플랫폼 기반의 비즈니스 인텔리전스 솔루션을 활용하면 필요한 분석 업무를 직접 수행하며 진정한 시티즌 데이터 사이언티스트로 성장할 수 있습니다.
※ 다음 편에서는 시티즌 데이터 사이언티스트 업무를 지원하는 셀프서비스 기반의 비즈니스 인텔리전스 분석 솔루션을 살펴보겠습니다.
